Das uns umgebende Ökosystem von Daten umfasst viele verschiedenen Datentypen von Audio, Bild und Video bis hin zu Zeitreihen, 3D-Daten und textuellen (Meta)daten, wie sie vor allem auf Plattformen der (sozialen) Medien zu finden sind. Multimediale KI befasst sich mit der Erkennung, dem Abruf, der Analyse und der Empfehlung von Mediendaten in unimodalen oder multimodalen Settings (letzteres beschreibt die Kombination zweier oder mehrerer verschiedener Mediendatentypen).

Für unsere Multimedia-KI-Forschung in den Bereichen Computer Vision (CV), Natural Language Processing (NLP), Multimodal Retrieval (MMR) und Time Series Analysis & Pattern Analysis haben wir bereits Preise gewonnen. Wir bringen diese Forschung u.a. in der Analyse von sozialen Medien,  Immobilienmärkten, menschlichen Gangmustern, digitalem Erbe und Digital Humanities zum Einsatz.

Wir unterstützen Immobilienunternehmen durch die Einschätzung von Bodenqualität mithilfe von Satellitenaufnahmen und die Altersprognose von Gebäuden basierend auf Werbebildern. In Zusammenarbeit mit Paläographen erarbeiten wir digitalisierte mittelalterliche Manuskripte als Basis für die Abfragung und Identifikation von Autor*innen. Zur Unterstützung von Archäolog*innen verwenden wir 3D-Scans von Gesteinsoberflächen für die Segmentierung von menschgemachten prähistorischen Figuren aus dem Gestein.

Wir setzen NLP-Methoden zur Analyse von sozialen Medien ein, um beispielsweise Fake News oder Sexismus aufzuspüren. Wir kombinieren multiple Modalitäten für MMR zur Extraktion von Informationen aus sozialen Medien oder für eine präzisere Beurteilung von Immobilien. Wir unterstützen weiters Physiotherapeut*innen bei der Diagnose von Gangstörungen, indem wir zeitbasierte Gangmessungen in 2D und 3D analysieren und dabei charakteristische Muster erkennen und einordnen.